リザーバコンピューティングを用いた強化学習


運動制御を司っている小脳を模倣した情報処理構造としてLiquid State Machine (LSM)やEcho State Network (ESN)に代表されるReservoir Computing (RC)が考案されています. RCは入力層・リザーバ層・出力層の3層で構成され,このリザーバ層が内部状態を持つリカレントニューラルネットワークの一種となります. RCの最たる特徴は,学習するニューロン間の結合がリザーバ層と出力層を接続しているリードアウトのみ,という点にあります. つまり,リザーバ層は設計時に与えられた結合がもたらす固有のダイナミクスを保持することになります. リザーバ層を学習しないで良いためニューロン数を大きくしやすく,小脳における顆粒層に相当するといわれています.

このRCを用いた研究として,

  • 破滅的忘却を緩和するネットワークダイナミクスの設計
  • 時系列データの回帰・分類に強いニューロンダイナミクスの設計

などを行っています. 特に,タスクAについて学習した後のネットワークでタスクBを学習するとタスクAを忘れてしまう「破滅的忘却」を緩和する手法は,生物のように生涯を通じて学習し続けて次々に新しいことができるようになる自律ロボットを開発するにあたって非常に重要な能力になります.